براساس گزارشهای منتشرشده در رسانههای تخصصی مانند GBHackers و TechRadar، برخی از پاسخهای تولیدشده توسط این موتورهای AI در مواردی کاربران را ناخواسته به سمت سایتهایی هدایت کردهاند که یا جعلیاند یا عملا در نقش تلههای فیشینگ عمل میکنند. بهبیان سادهتر، هوش مصنوعی - بدون آنکه بداند - به بازوی بازاریابی هکرها تبدیل میشود.
علت اصلی این پدیده را باید در ماهیت مدلهای زبانی بزرگ جستوجو کرد. این مدلها نه براساس درک و تحلیل واقعی امنیت بلکه صرفا بر مبنای پیشبینی متن و الگوهای زبانی کار میکنند. در نتیجه، ممکن است در پاسخ به یک پرسش درباره دانلود یک نرمافزار، لینکی ساختگی و مشابه با دامنه رسمی ارائه دهند که در عمل، کاربر را به یک وبسایت آلوده هدایت کند.
این موضوع در ابزارهایی مانند Perplexity که بر پایه جستوجوی زنده وب کار میکنند، بیش از پیش نگرانکننده است. زیرا نهتنها خطر «توهم زبانی» وجود دارد بلکه ممکن است نتایج واقعی و آلوده نیز از دل وب بهطور مستقیم در پاسخ کاربر گنجانده شوند.نگرانی بزرگتر اما به سطح اعتماد کاربران بازمیگردد. برخلاف موتورهای جستوجو که هنوز نیازمند قضاوت انسانی هستند، بسیاری از کاربران به خروجیهای AI با نوعی اعتماد کور نگاه میکنند؛ گویی هرچه گفته میشود، صحیح و معتبر است. این سطح از اتکا، در صورت نبود سامانههای بررسی اعتبار لینک میتواند به فاجعههای امنیتی ختم شود. برای مقابله با این تهدید نوظهور، نیاز به بازنگری فوری در طراحی پاسخسازهای هوشمند وجود دارد. اتصال این ابزارها به دیتابیسهای امنیتی، ارتقای توان مدلها در تشخیص دامنههای مخرب و تعریف فیلترهای هوشمند برای جلوگیری از تولید لینکهای خطرناک، بخشی از اقدامات ضروری در این مسیر است. در عصر پاسخهای فوری، نباید امنیت قربانی سرعت شود. هوش مصنوعی باید نهتنها دانا، بلکه امین و ایمن نیز باشد. در غیر این صورت، سکوت و ناآگاهی آن، به بلندگوی نقشههای مهاجمان سایبری بدل خواهد شد.